Harness-Delta 归因：拆解 Agent Harness 进化的性能增益来源
🧭 Agent 评测与进化增益归因
Amazon · New York University
提出 HDA 协议，将 harness 进化增益归因为 overfitting、test-time scaling 与 residual 三类
📌 工作参考价值（4 点）
- 在做 Agent 搜索结果页策略、推荐链路 prompt/tool 搜索时，引入 HDA 式分解：对 search set 的 lift 拆成 artifact overfitting、inference compute scaling 与 residual；只报验证集不够。
- 必须设置 held-out tasks/跨类目流量做泛化验证；电商 query 推荐、广告文案生成等场景，benchmark 相似 query 的增益常不迁移到真实分布。
- 对加入多采样、投票、更多推理步数的方案，单独量化 test-time scaling 贡献，避免把“多算力带来的提升”误判为 harness 设计有效。
- 用 artifact-driven probes（如检测规则式捷径、重复输出短路）暴露过拟合；可在推荐 Agent 中设计反事实或干扰样例来检查泛化。
PreSTO：预测子树预取加速 LLM 幂采样
🧭 LLM 推理加速 · 幂采样预取
University of Texas at El Paso · Georgia Institute of Technology · Morgan Stanley
将 MH 串行接受/拒绝展开为决策树批量预取，不改转移核，加速 LLM 幂采样 1.7-2.3 倍
📌 工作参考价值（4 点）
- 若业务在 LLM 推理中采用 self-consistency / best-of-n / 拒绝采样（含 MH 接受/拒绝），可将串行“提出-判断”展开为决策树，用一次 batch 请求预取多个可能分支，再沿原始接受规则回放，分布不变但大幅减少模型调用轮次；适用于生成 item 标题、搜索 query 改写、广告文案等多候选投票场景。
- 预测性子树遍历规则：用轻量模型预测哪些分支更可能带来更多有效转移，优先预取高收益子树，减少无效 KV cache 与计算；在 Agent 多轮推理、RAG 多跳 query 改写中可借鉴“先预测路径价值，再决定 speculative 分支”的思路。
- 工程核心是 batch 内做子树级 speculative execution 并保证 kernel 不变，无需改模型或采样器；已有推理框架若支持 batch prefill/continue，可低成本实验。
- 整体偏学术，若业务对延迟不敏感或没有大规模 MH 采样，直接收益有限；主要价值在 LLM inference optimization 的方法论。
用循环流思考
🧭 循环神经网络与概率流推理
EPFL · KAIST · University of Amsterdam · Carnegie Mellon University · TU Wien
提出循环流模型，用局部去噪目标训练循环网络，推理时积分概率流实现计算扩展，在ARC-AGI等基准上超越先前的循环模型
📌 工作参考价值（4 点）
- 循环生成模型训练中，若梯度只截断少数步（如在线生成式推荐的多步解码），可借鉴局部去噪目标：每一步只做当前噪声水平的去噪，不要求整个循环链端到端可微，缓解早期步骤无法支持后续步骤的问题。
- 推理时通过更细的时间网格积分概率流，用更多计算换取更好预测，适合对延迟敏感的业务按负载动态调整解码步数，实现在线算力弹性伸缩。
- 从不同初始噪声采样可获得多个有效预测，可用于生成式推荐中产出多样化候选 item，后续用排序模型筛选或做多样性打散，兼顾覆盖与准确。
- 循环状态与流状态解耦（先运行去噪器更新循环状态，再执行 ODE/SDE 步），工程上易于模块化，可分别优化状态传递逻辑和数值积分器。
更多正确质量，更差答案：Power Sampling 为何失败及修复
🧭 Power Sampling 推理时采样修正 ★ 深度解读
State Key Laboratory of General Artificial Intelligence, Peking University
揭示 Power Sampling 提升正确轨迹概率却伤害自洽性聚合，提出 Relative-Rank SoftSat 与重要性加权修复
📌 工作参考价值（4 点）
- 在 LLM 多路生成投票、Agent 决策聚合或生成式推荐候选排序中，避免直接用模型全局概率/置信度做幂次加权（类似 p^α 或降低温度）。它可能放大单一高概率错误路径，压制多个中等概率正确路径的集体支持；改用 prompt 内相对排名（percentile）并对 top 项做饱和增益，可保留投票所需的中尾部多样性。
- 对不同 prompt/上下文做候选打分时，不要直接比较绝对 log-likelihood，否则同一阈值在不同问题上效果差异很大（dose mismatch）。先做 per-prompt 分位标准化再做 reweighting，能更稳定地控制分布变形强度。
- 固定推理预算下，可把从 sharpened 目标分布重复采样 N 次替换为从 Base 分布采样 N 条后用重要性权重聚合，文中在 MoreHopQA 上选择一致率达 99.55%，延迟降低 7.42 倍；适合线上 LLM 候选生成/投票，无需额外模型调用。
- 评估多候选推理或生成式推荐结果时，不要只看 pass@k 或 top-1 正确率，要监控 answer-level margin 和正确答案的覆盖结构；全局 sharpening 可能提升正确轨迹总质量但降低 gold-answer margin，导致最终聚合变差。
第二思考：LLM Agent 行动与观察期间并行推理
🧭 Agent 推理时延优化 · 异步并行思考 ★ 深度解读
Singapore Management University
在 ReAct 的 Action-Observation 空闲窗口并行分叉四路原子思考，融合回下一轮，降低主线程解码与轮次而不损精度
📌 工作参考价值（4 点）
- 把 ReAct 中 Action–Observation 的等待窗口当成免费并行推理资源：Agent 调用商品搜索、用户模拟器或工具返回期间，分叉 Check/Recall/Rehearse/Alternative 四路旁路思考，下一轮提示词直接拼接收获的原子思考，可减少无效轮次；工程上可复用主线程前缀 KV cache，关闭旁路 thinking mode 以快速产出。
- 四类推理维度对应电商对话 Agent 常见失败：假设未验证（库存/优惠条件）、长对话约束遗忘（预算/偏好）、工具结果偏离时重新规划、过早锁定单一策略；可按业务裁剪只保留 1-2 路，例如 Alternative + Rehearse，单分支 API 成本仅增加 16%-35%。
- 原子思考输出契约值得直接抄：用 <thought> 包裹、每条 ≤25 词、无前后引用，中断只丢弃当前单元，适合推送文案生成、搜索 query 改写等任何需要异步生成且可随时截断的场景。
- 延迟收益主要来自主线程 token 减少而非隐藏工具等待，说明把旁路思考预算转到等待窗口比单纯 force 主模型更长推理更划算；若允许主线程等待分支完成，Pass@1 还能再涨 4.7 点，但会牺牲关键路径，适合离线批处理或准实时场景。
教LLM自我进化：用强化学习培养核心元技能
🧭 RL训练自我进化元技能
University of Illinois Urbana-Champaign
通过合成进化轨迹和进化感知的RL，教会LLM自我反思等元技能，大幅提升跨领域迭代优化能力
📌 工作参考价值（4 点）
- 借鉴进化轨迹合成方法：在搜索/推荐场景中，收集多轮策略调整的历史数据（如出价序列、排序规则迭代），构造包含状态、收益、历史尝试的训练样本，让模型学会基于历史决策反馈进行增量优化。
- 奖励塑形技巧：利用业务连续指标（CTR、转化率、时长）设计fitness score，替代二元成败，为RL训练提供更细粒度的反馈，引导模型生成更高效的策略。
- 推理时进化搜索：部署推荐/广告Agent时，可对同一请求执行多轮推理，每轮根据环境模拟反馈（如预测的CTR）微调输出，最后选择最优解，实现test-time自我改进。
- 域无关元技能迁移：在代码数据上训练获得的自我反思与迭代优化能力，可迁移到推荐文案生成、搜索词优化等开放域任务，减少对标注数据的依赖。
面向全模态理解的主动感知即推理
🧭 Agent 主动感知与推理优化
The Chinese University of Hong Kong · Shanghai Jiao Tong University · Qwen Team, Alibaba Group · Nanyang Technological University
提出OmniAgent: 首个将长视频理解建模为POMDP迭代循环的原生全模态代理，通过按需主动感知与Agentic RL实现推理-时长解耦和测试时正拓展
📌 工作参考价值（4 点）
- 按需多模态信息抽取：电商直播、商品讲解长视频中，可借鉴“观察-思考-行动”循环设计代理，仅针对用户咨询动态提取关键音视频片段，大幅降低首响延迟与计算开销，同时保持全量信息的可访问性。
- Agentic RL 功劳分配：TAURA 利用回合级熵值将奖励集中于关键发现回合，适合多轮对话推荐、用户意图探索等序列决策场景，有效抑制无意义探索噪声，提升在线学习效率。
- 持久文本记忆解耦：将视觉、听觉等多模态原始数据实时蒸馏为可压缩、可检索的文本记忆，在用户意图漂移或长会话推荐中维持轻量、可扩展的状态跟踪，避免上下文窗口堆砌。
- 测试时正拓展策略：通过动态增加推理轮数提升复杂 query 的推荐/回答质量，可移植到交互式推荐系统的自适应深度推理，实现“思考越久，推荐越准”的效果。
多轮反思掩码激发掩码扩散模型的推理能力
🧭 掩码扩散模型 · 多轮反思推理
University of Maryland · Virginia Tech · Intuit · UC Davis · MBZUAI
为掩码扩散模型引入轻量后训练和免参数历史参考机制，实现原生多轮局部修改与测试时推理缩放
📌 工作参考价值（4 点）
- 文案/Query生成场景：若你的场景使用掩码扩散模型（如文本生成），可直接迁移Reflective Masking多轮修正机制，让模型根据上下文反复局部修改初始输出，提升文案或搜索Query的生成质量，减少全量重生成开销。
- Agent反思模式借鉴：Agent多步推理中常需局部修正错误，RM的“先预测再动态掩码高error区域”策略可嵌入自回归Agent的反思环，避免丢弃所有前文，只重写有问题的片段，降低推理token消耗。
- 推荐列表迭代优化：生成式推荐（如Semantic ID逐位生成）可引入test-time scaling：初次生成后，根据约束（多样性、业务规则）掩码部分ID位，多轮去噪生成更优列表，实现可控的局部编辑。
- 工程实现：方法无需修改模型结构，仅需轻量后训练即可激活推理能力；直接应用到现有MDM框架中，成本低，可作为固定范式插入现有流程。
LRanker：面向大规模候选的LLM排序框架
🧭 LLM驱动的超大规模候选排序 ★ 深度解读
University of Illinois Urbana-Champaign · Meta Monetization AI
通过聚合候选全局信息和多嵌入集成，使LLM排序扩展到百万级候选并大幅提升效果
📌 工作参考价值（4 点）
- 全局候选信息注入：利用K-means对候选嵌入聚类，将质心通过可学习投影器注入LLM作为软提示，使查询表示条件于全局候选分布，适合电商/推荐中候选集巨大的场景，可提升粗排/精排的相关性。
- 图测试时缩放：在推理时迭代分区候选集、保留高分段、重新计算查询嵌入并平均集成，以多视角增强排序鲁棒性；该方法轻量、可插拔，能与现有嵌入排序模型结合，用于线上打分增强。
- 训练鲁棒性强化：训练时随机分区采样不同候选子集计算损失，使查询表示对不同候选规模不敏感，适合动态候选池或A/B测试环境。
- LoRA高效微调：只对注意力层和FFN添加低秩适配，保持LLM基础能力的同时快速适应排序任务，便于在已有基座模型上构建推荐/搜索排序器。
Argus：证据拼装实现可扩展深度研究Agent
🧭 Agent多智体协作优化 ★ 深度解读
MiroMind AI
通过Searcher和Navigator协作构建共享证据图，将深度研究转化为证据拼图，实现并行搜索的线性扩展。
📌 工作参考价值（4 点）
- 用证据图解耦搜索与推理：在电商知识图谱问答或Agent任务规划中，可以将并行执行的子任务结果抽象为图结构（节点=证据/主张，边=支持/矛盾），由协调Agent在图层面进行验证与派发，避免直接拼接长上下文，压缩比可达1200:1。
- 对比奖励驱动验证学习：借鉴GRPO+对比奖励（verification前后得分差），训练Agent学会识别回答中的缺失证据并主动查询，在电商多跳问答或生成式推荐中可让模型自动补全信息缺口，而非被动合并。
- 独立训练、组合推理：将Searcher（执行器）和Navigator（协调器）分开训练，Searcher保持标准ReAct，Navigator通过RL掌握何时验证、派发、合成，推理时可按需切换单/并行模式，类似电商场景中前端搜索Agent与后端推理Agent的解耦设计。
- 图结构提高可解释性：最终答案每个声称都追溯到证据节点和URL，实现完全可审计。在电商推荐理由生成中，可构建主张-证据链，提升用户信任和合规性。
简单统一缩放达成奥赛金牌级推理
🧭 Reasoning ★ 深度解读
上海人工智能实验室 · 香港中文大学 · 清华大学 · 上海交通大学 · 北京大学
一套 SFT-RL-TTS 统一流程将 30B-A3B 模型推向数学与物理奥赛金牌水平，并展现跨领域科学推理迁移